Міністерство освіти та науки України
Національний університет
“Львівська політехніка”
Кафедра програмного забезпечення
Курсова робота
з курсу
“Методи та засоби комп’ютерних
інформаційних технологій”
Львів 2002
Зміст
Формулювання завдання №1. 3
1.1 Ентропія.Властивості ентропії 3
1.2 Розв’язок задачі. 5
1.3 Висновок. 5
2. Формулювання завдання №2. 6
2.1 Основні положення і відношення для розрахунку схеми. 6
2.2 Текст програми. 9
2.3 Графіки залежностей. 11
2.4 Висновок. 12
3. Формулювання завдання №3. 12
Побудова коду Хемінга.Виправлення помилки. 12
3.2 Текст програми. 15
3.3 Висновок
Варіант №6
1.Формулювання завдання № 1.
В результаті статичних випробувань встановлено, що при передачі 100 повідомлень символ К зустрічається 50 раз, символ Т –30 раз, разом з симолом К символ Т зустрічається 10 раз. Визначити умовні ентропії Н(К/Т) і Н(Т/К).
1.1Ентропія.Властивості ентропії.
Довільне повідомлення, з яким ми маємо справу в теорії інформації, являє собою сукупність даних про деяку фізічну систему. Повідомлення має зміст лише тоді, коли стан системи був до нього невідомий (випадковий). Повідомлення, яке отримав приймач, буде тим цінніше, чим більше невідомої інформаціїї для приймача воно в собі містить. В якості міри невизначеності системи в теорії і нформації застосовується спеціальна величина, яка носить назву ентропія. Ентропія стану системи – це питома кількість інформації, яка припадає на один символ повідомлення.
Ентропія ансамбля
Ентропією EMBED Equation.3 дискретного ансамбля повідомлень називається математичне очікування власної кількості інформації ансамбля:
EMBED Equation.3
Логарифм може мати довільну основу (вібір основи – це вибір одиниці виміру ентропії), але доцільно використовувати основу 2 для зручності роботи з ентропією на обчислювальній техніці.
Розглянем деякі властивості ентропії:
EMBED Equation.3 , причому EMBED Equation.3 тоді і тільки тоді, коли існує деяке EMBED Equation.3 , таке, що EMBED Equation.3 і EMBED Equation.3 для EMBED Equation.3 , EMBED Equation.3 .
Дійсно, так як кількість власної інформації в кожному повідомленні невід’ємна, то невід’ємна і середня кількість інформації. Далі, якщо EMBED Equation.3 , то EMBED Equation.3 . Звичайно вважають EMBED Equation.3 при EMBED Equation.3 , оскільки EMBED Equation.3 .
В усіх інших випадках EMBED Equation.3 .
Якщо ансамбль EMBED Equation.3 містить EMBED Equation.3 повідомлень, то
EMBED Equation.3 ,
рівність має місце в тому і тільки тому випадку, коли EMBED Equation.3 для всіх EMBED Equation.3 , тобто, коли розподіл на множині EMBED Equation.3 рівномірний.
Основні властивості ентропії:
Ентропія є неперервною і додатньою величиною.
Ентропія приймає мінімальне значення в двох випадках:
а) Повідомлення складається з однієї ознаки, ймовірність появи якої – 1
б) Якщо ймовірність j-ї ознаки=0 або близька до 0.
Ентропія досягає максимуму, коли всі можливі випадки досліду є рівноможливими.
EMBED Equation.3
Ентропія повідомлення, яке складається з деякого числа окремих повідомлень дорівнює сумі ентропій кожного повідомлення зокрема.
Ентропію складної системи EMBED Equation.3
можна представити у вигляді: H(X,Y)=H(X)+H(Y/X), де H(X,Y) – це повна умовна ентропія.
1.2 Розв’язок задачі.
Загальна кількість переданих символів
N=100*5=500
Ймовірність появи символа К
Р(к)=50/500=0.1
Ймовірність появи символа Т
Р(т)=30/500=0.06
Ймов...
